رائفیپور می گوید کتاب شوخیهای اهل بیت منتشر شده است و او نمیتواند برخی از شوخی های اهل بیت را بیان کند. رائفیپور می گوید: «اگر حتی خانمها هم در این جلسه نمیبودند و همه حضار پیرمردهای نود ساله بودند باز هم نمی توانستم برخی شوخیهای اهل بیت را بیان کنم.»
او این سخنان را در این رابطه مطرح کرده است که نباید چهرهای خشک از دین ارايه شود.
این اظهارات با واکنش تند حجتالاسلام علوی تهرانی مواجه شد. محمد باقر علوی تهرانی در واکنش به ادعای علی اکبر رائفی پور درباره امام معصوم شیعه گفت: "من نمیدانم سازمان تبلیغات اسلامی چه کار میکند. اصلا خدا شاهد است نمیدانم در این مملکت متولی مبارزه با این حرفها کیست. والله اگر وهابیت میخواست پول خرج کند که این حرف در ایران زده بشود چقدر باید خرج میکرد."
علوی تهرانی با بیان اینکه "هیچ کس زورش به این آدم نمیرسد" گفت: «دو کار میکند میگوید تقطیع شده است و بعد از آن لشکر سایبری راه میاندازد.» او خطاب به رائفیپور گفت: «اگر تقوای علمی داری با عالمان مناظره کن و اگر تقوای عملی داری توبه کن.»
همچنین حجتالاسلام شیخ جعفر تبریزی نیز به تندی از سخنان رائفیپور انتقاد کرد و گفت: «چرا جلوی این افراد گرفته نمیشود. علما باید متصدی امور مذهبی باشند نه یک شخص مکلا که رشتهاش به دین نمیخورد.» او حرفهای رائفیپور را «چرند» و «دروغ» خواند.
اظهارات رائفیپور در شبکههای اجتماعی نیز بازتاب منفی و انتقادات گستردهای را در پی داشته است. با این حال عدهای میگویند سخنان او تقطیع شده است.